The robustness and accuracy of a vision system for motion estimation of a tumbling target satellite are enhanced by an adaptive Kalman filter. This allows a vision-guided robot to complete the grasping of the target even if occlusion occurs during the operation. A complete dynamics model, including aspects of orbital mechanics, is incorporated for accurate estimation. Based on the model, an adaptive Kalman filter is developed that estimates not only the system states but also all the model parameters such as the inertia ratio, center-of-mass, and the rotation of the principal axes of the target satellite. An experiment is conducted by using a robotic arm to move a satellite mockup according to orbital mechanics while the satellite pose is measured by a laser camera system. The measurements are sent to the Kalman filter, which, in turn, drives another robotic arm to grasp the target. The results demonstrate successful grasping even if the vision system is blocked for several seconds.

本文提出了一种控制操纵器系统，掌握刚体有效载荷的方法，因此，由于外部施加的力与另一个自由浮动的刚体（具有不同的惯性特性）相同，因此组合系统的运动与另一个相同。这允许在1-G实验室环境中测试下的缩放航天器原型的零G仿真。由运动反馈和力量/力矩反馈组成的控制器调整了测试航天器的运动，以匹配飞行航天器的运动，即使后者具有灵活的附属物（例如太阳能电池板），而前者则是刚性的。整体系统的稳定性进行了分析研究，结果表明，只要两个航天器的惯性特性不同，并且尊重有效载荷与操纵器的惯性比率的上行，则该系统保持稳定。还提出了重要的实际问题，例如校准和对传感器噪声和量化的敏感性分析。

使用自适应机器学习解决了在不准确运动学模型的情况下，在存在不正确的运动学模型的情况下形成封闭运动链的合作操纵器的自我调整控制问题。两个级联估计器在线更新了与互连操纵器的相对位置/方向不确定性有关的运动学参数，以调整合作控制器，以通过最小值驱动力来实现准确的运动跟踪。该技术允许对所涉及的操纵器的相对运动学进行准确的校准，而无需高精度的终点传感或力测量，因此在经济上是合理的。研究整个实时估计器/控制器系统的稳定性表明，可以确保自适应控制过程的收敛性和稳定性，如果i）角速度向量的方向不会随着时间的推移而保持恒定；参数误差是由一些已知参数的缩放器函数上限。自适应控制器被证明是无奇异性的，即使控制定律涉及在估计参数下计算的矩阵的近似。实验结果证明了传统的反向动态控制方案对运动不准确的跟踪性能的敏感性，而自我调整合作控制器的跟踪误差显着降低。

本文着重于自适应和耐断层的视力引导的机器人系统，该系统可以选择最适合的控制动作，如果在短期内发生视觉系统的部分或完全失败。此外，自主机器人系统会考虑物理和操作约束，以执行特定视觉伺服任务的需求，以最小化成本功能。层次控制体系结构是基于迭代最接近点（ICP）图像登记的变体的交织集成，开发的，这是约束的噪声自适应卡尔曼滤波器，故障检测逻辑和恢复，以及受约束的最佳路径计划器。动态估计器估计运动预测所需的未知状态和不确定的参数，同时对估计过程的一致性施加了一组不平等约束，并在面对意外的视力错误时适应了Kalman滤波器参数。随后是基于故障检测逻辑实施故障恢复策略，该逻辑使用图像注册的度量拟合误差来监视视觉反馈的健康状况。随后，估计/预测的姿势和参数将传递给最佳路径计划器，以使机器人最终效应器尽快将移动目标的握把到达移动目标的抓地点目标的视线角。

本文提出了一种容忍故障的3D视觉系统，用于自动机器人操作。特别是，使用集成的Kalman滤波器（KF）中的3D视觉数据和闭环配置中的迭代最接近点（ICP）算法来实现空间对象的姿势估计。内部ICP迭代的最初猜测是由卡尔曼申报人的国家估计传播提供的。卡尔曼过滤器不仅能够估计目标状态，还可以估算其惯性参数。这允许目标一旦滤波，目标就可以预测。因此，由于ICP初始化的精度提高，ICP可以在更广泛的速度上保持姿势跟踪。此外，即使传感器暂时失去其信号，估计器即使由于阻塞造成的损失，估计器将目标的动力学模型纳入估计器中。姿势估计方法的功能通过自动化合作和对接的地面测试床证明。在该实验中，Neptec的激光摄像头系统（LCS）用于对连接到操纵器臂的卫星模型进行实时扫描，该卫星模型是根据轨道和态度动力学驱动的。结果表明，只有在Kalman滤波器和ICP处于闭环配置时，才能实现自由浮动翻滚卫星的可靠跟踪。

本文为自动驾驶车辆提供了基于激光雷达的同时定位和映射（SLAM）。研究了来自地标传感器的数据和自适应卡尔曼滤波器（KF）中的带状惯性测量单元（IMU）加上系统的可观察性。除了车辆的状态和具有里程碑意义的位置外，自我调整过滤器还估计IMU校准参数以及测量噪声的协方差。流程噪声，状态过渡矩阵和观察灵敏度矩阵的离散时间协方差矩阵以封闭形式得出，使其适合实时实现。检查3D SLAM系统的可观察性得出的结论是，该系统在地标对准的几何条件下仍然可以观察到。

Coronary Computed Tomography Angiography (CCTA) provides information on the presence, extent, and severity of obstructive coronary artery disease. Large-scale clinical studies analyzing CCTA-derived metrics typically require ground-truth validation in the form of high-fidelity 3D intravascular imaging. However, manual rigid alignment of intravascular images to corresponding CCTA images is both time consuming and user-dependent. Moreover, intravascular modalities suffer from several non-rigid motion-induced distortions arising from distortions in the imaging catheter path. To address these issues, we here present a semi-automatic segmentation-based framework for both rigid and non-rigid matching of intravascular images to CCTA images. We formulate the problem in terms of finding the optimal \emph{virtual catheter path} that samples the CCTA data to recapitulate the coronary artery morphology found in the intravascular image. We validate our co-registration framework on a cohort of $n=40$ patients using bifurcation landmarks as ground truth for longitudinal and rotational registration. Our results indicate that our non-rigid registration significantly outperforms other co-registration approaches for luminal bifurcation alignment in both longitudinal (mean mismatch: 3.3 frames) and rotational directions (mean mismatch: 28.6 degrees). By providing a differentiable framework for automatic multi-modal intravascular data fusion, our developed co-registration modules significantly reduces the manual effort required to conduct large-scale multi-modal clinical studies while also providing a solid foundation for the development of machine learning-based co-registration approaches.

Magnetic resonance (MR) and computer tomography (CT) images are two typical types of medical images that provide mutually-complementary information for accurate clinical diagnosis and treatment. However, obtaining both images may be limited due to some considerations such as cost, radiation dose and modality missing. Recently, medical image synthesis has aroused gaining research interest to cope with this limitation. In this paper, we propose a bidirectional learning model, denoted as dual contrast cycleGAN (DC-cycleGAN), to synthesize medical images from unpaired data. Specifically, a dual contrast loss is introduced into the discriminators to indirectly build constraints between real source and synthetic images by taking advantage of samples from the source domain as negative samples and enforce the synthetic images to fall far away from the source domain. In addition, cross-entropy and structural similarity index (SSIM) are integrated into the DC-cycleGAN in order to consider both the luminance and structure of samples when synthesizing images. The experimental results indicate that DC-cycleGAN is able to produce promising results as compared with other cycleGAN-based medical image synthesis methods such as cycleGAN, RegGAN, DualGAN, and NiceGAN. The code will be available at https://github.com/JiayuanWang-JW/DC-cycleGAN.

虽然对多语言视觉语言预测的模型实现了一些好处，但是当将多句预训练的视力语言模型应用于非英语数据时，各种任务和语言的最新基准测试表明，跨语性概括不佳，并且在有监督之间存在很大的差距（ ）英语表现和（零射）跨语性转移。在这项工作中，我们探讨了这些模型在零拍的跨语性视觉响应（VQA）任务上的糟糕性能，其中模型在英语视觉问题数据上进行了微调，并对7种类型上多样的语言进行了评估。我们通过三种策略改善了跨语性转移：（1）我们引入了语言的先验目标，以增加基于相似性损失以指导模型在培训期间的跨渗透损失，（2）我们学习了一个特定于任务的子网络，改善跨语性概括并减少不修改模型的方差，（3）我们使用合成代码混合来扩大培训示例，以促进源和目标语言之间的嵌入。我们使用预审计的多语言多模式变压器UC2和M3P进行的XGQA实验证明了针对7种语言提出的微调策略的一致有效性，以稀疏模型优于现有的转移方法。复制我们发现的代码和数据已公开可用。

随着自动机器人解决方案无处不在的越来越多，对它们的连通性和多机器人系统中的合作的兴趣正在上升。当前研究问题的两个方面是机器人安全性和对拜占庭代理商的确保多机器人协作。已提出了区块链和其他分布式分类帐技术（DLT）来应对两个领域的挑战。但是，一些关键挑战包括现实世界网络中的可扩展性和部署。本文提出了一种集成IOTA和ROS 2的方法，以实现更可扩展的基于DLT的机器人系统，同时允许部署后进行网络分区耐受性。据我们所知，这是机器人系统IOTA智能合约的首次实施，以及与ROS2的首次集成设计，这与依赖以太坊的绝大多数文献相比。我们提出了一般的IOTA+ROS 2体系结构，导致耐隔离的决策过程，该过程也从嵌入式区块链结构中继承了拜占庭式公差属性。我们证明了在具有间歇性网络连接的系统中进行合作映射应用程序的拟议框架的有效性。在存在网络分区的情况下，我们在以太坊方面表现出了卓越的性能，在计算资源利用方面的影响很小。这些结果为分布式机器人系统中的区块链解决方案更广泛地集成开辟了道路，其连接性和计算要求较少。